Mechanism-Driven Monitors for Preemptive Detection of LLM Training Instability
机制驱动的LLM训练不稳定性预先检测监控器
🧭 LLM训练稳定性异常检测
HKUST · Huawei
从注意力谱熵和MoE路由器内部信号提前数千步预警训练崩溃
📌 工作参考价值（3 点）
- 若你的推荐系统使用低精度训练（如FP8），可监控注意力层的谱熵一阶项，在损失发散前数千步预警，避免资源浪费。
- 对于采用MoE架构的生成式推荐模型，可借鉴论文中的路由器负载和专家选择分布指标，提前发现路由崩塌。
- 训练大型模型时，不要只依赖loss和梯度范数，引入模块内部的结构化信号进行健康监测，提高训练效率。